import chardet
import requests
from bs4 import BeautifulSoup

# 使用 requests 获取网页内容
url = 'https://cn.bing.com/'  # 抓取bing搜索引擎的网页内容
# 发送HTTP请求获取网页内容
response = requests.get(url)
# 使用 chardet 自动检测编码
encoding = chardet.detect(response.content)['encoding']
print(encoding)
response.encoding = encoding
# 确保请求成功
if response.status_code == 200:
    # 使用 BeautifulSoup 解析网页-推荐使用 lxml 作为解析器（速度更快）
    soup = BeautifulSoup(response.text, 'lxml')  # 使用 lxml 解析器
    print(soup.prettify())  # 打印网页内容
    # 查找<title>标签
    title_tag = soup.find('title')
    # 打印标题文本
    if title_tag:
        print(title_tag.get_text())
    else:
        print("未找到<title>标签")

else:
    print('请求失败')
